突破MCU算力瓶頸　專用工具為邊緣AI推一把

在過去十年間，AI人工智慧的發展主軸基本上都是圍繞著「更大、更深、更強」，我們習慣了在雲端使用擁有數億或甚至於數十億參數的巨型模型來處理自然語言或複雜影像應用。 然而，隨著人工智慧物聯網的爆發性成長，目前的戰場已經逐步的轉移。現在的技術焦點，已經不再是誰能在雲端跑出更高的基準測試分數，而是誰能將AI成功植入到資源極度受限(記憶體跟效能較低)的MCU，也就是所謂的邊緣AI。 從工業4.0的預測性維護、智慧家庭的語音辨識甚至到穿戴式裝置的即時健康監測，這些應用場景對即時性、應用成本以及資料隱私的要求，變得更加嚴格。將所有感測器資料上傳雲端分析已不再是唯一解方，在感測器的周邊直接進行運算，成為未來的趨勢。 資料量限制與硬體算力的囚籠 然而，當資料科學家試圖將實驗室中的AI模型移植到嵌入式系統時，往往會撞上一堵厚實的牆，這堵牆就是物理資源上的上限。 典型的深度學習模型如同吞噬算力的巨獸，它們需要大量RAM來儲存中間運算結果，以及龐大的Flash來存放各個模型的權重。但現實世界中，廣泛應用於馬達控制或家電的微控制器(MCU)晶片，其所搭載的記憶體往往都是以KB或MB為計算單位，如果開發者試圖將未經最佳化的神經網路硬塞進MCU，就像是試圖將跑車引擎裝進小型的自行車裡，不僅應用上不可行，更會對團隊的工程資源造成額外的浪費。 這是業界目前正遭遇的矛盾：開發者渴望利用AI來改善應用的本質，增加產能或效率，但是卻無法承擔其的建置及運算成本。 資料分析以及模型的減法 要解決上述矛盾，我們不能依賴硬體的無限制升級，而必須要回歸到資料分析的本質，這就像是一場關於減法的魔術一樣。 在嵌入式AI的開發中，模型裁剪以及特徵萃取的重要性，會遠高於模型架構的堆疊。 首先，我們先針對資料分析的篩選以及模型的瘦身概念進行說明： 資料分析的篩選 Raw...